É um eufemismo e na verdade usado mais plural como quebrar as paciencias, mas ela não é um bem que significa quebrar as bolas.